3.2 About Hyperparameters and Model Selection
ハイパーパラメタ と モデルパラメタ
ハイパーパラメタはモデルの訓練の前にアプリオリに指定する(kNNのkをいくつにするか)
(モデルパラメタはモデルの訓練で決まる)
ハイパーパラメタの例(kNN)
整数値 k
distance metric(距離をどう計算するか)
kNNは「lazy learner」で「nonparametric method」
lazy learning (or instance-based learning) means that there is no training or model fitting stage
「lazy learning(怠惰学習 ?)(またはインスタンスベースド学習)は、モデルを訓練するステージがないことを意味する」
kNNのモデルは訓練データを格納し、それを使って推論するだけ
nonparametric models are models that cannot be described by a fixed number of parameters that are being adjusted to the training set
「ノンパラメトリックモデルは訓練セットに応じて調整させられる固定数のパラメタによって記述できないモデル」
ノンパラメトリックモデルはパラメトリックな手法と異なり、データがある種の確率分布に従うと仮定しない
ロジスティック回帰(パラメトリックな手法の例)
固定数のモデルパラメタ
a weight coefficient for each feature variable in the dataset plus a bias (or intercept) unit
「データセットの各特徴量変数に対する重み係数とバイアス(または切片)ユニット」
Figure 11によるとm個の特徴量に対する重み(m個)とバイアス1個
訓練の中で対数尤度関数の最大化またはロジスティックコストの最小化によって更新される
ハイパーパラメタ
勾配ベースの最適化のためのエポック数
訓練セットに対して何回繰り返すか
正則化パラメタの値
ハイパーパラメタの値の変更は異なるモデルとなる
The process of finding the best-performing model from a set of models that were produced by different hyperparameter settings is called model selection.
model selection(モデル選択)とは「異なるハイパーパラメタ設定によって作られたモデルの集合の中から、最も性能がよいモデルを見つけること」